Workshop Big Data Analytics
Witek ten Hove
29-01-2018
Data inlezen
De data komt uit een Kaggle competitie en gaat over het proces van claimafhandeling bij een grote verzekeringsmaatschappij. De opdracht van de competitie was om een model te bouwen dat binnenkomende claims kan categoriseren naar ‘snel afhandelbaar’ en ‘nadere controle nodig’. De oorspronkelijk dataset had een omvang van 110 MB (meer dan 100.000 regels). Voor een snellere laadtijd is de dataset met 60% gereduceerd (met behoud van verhoudingen).
firstDF <- read_csv("https://raw.githubusercontent.com/hanbedrijfskunde/im/master/workshops/bigdata/kaggle.csv")
head(firstDF)Kwaliteit data set beoordelen
In bovenstaande tabel hebben we al een klein beetje gekeken naar de kwaliteit van de data. We zien dat er 133 kolommen zijn en bij iedere kolom is aangegeven om welk type data het gaat. De kolom met de variabele v1 is bijvoorbeeld van het type double (dbl) en dit geeft aan dat het om een getal met decimalen gaat. Kolom v3 bevat tekst (chr) en target natuurlijke getallen (telgetallen - int).
Voor uitgebreide kwaliteitsinformatie kunnen de functies str() en summary() worden gebruikt. Functies worden altijd aangegeven met haakjes waartussen parameters geplaatst kunnen worden. In dit geval is de parameter de dataset firstDF.
## Structuur
str(firstDF[,1:10])Classes ‘tbl_df’, ‘tbl’ and 'data.frame': 45728 obs. of 10 variables:
$ ID : int 5 6 12 31 37 39 40 43 54 57 ...
$ target: int 1 1 0 1 1 1 1 1 1 1 ...
$ v1 : num 0.944 0.797 0.9 2.26 0.944 ...
$ v2 : num 5.31 8.3 7.31 14.69 5.93 ...
$ v3 : chr "C" "C" "C" "C" ...
$ v4 : num 4.41 4.23 3.49 5.15 4.4 ...
$ v5 : num 5.33 11.63 9.95 8.55 9.05 ...
$ v6 : num 3.98 2.1 1.93 1.95 2.55 ...
$ v7 : num 3.93 1.99 1.77 2.93 2.69 ...
$ v8 : num 0.0196 0.1719 0.0663 0.0414 0.0857 ...## Samenvatting
summary(firstDF[, 1:10]) ID target v1 v2 v3 v4
Min. : 5 Min. :0.0000 Min. : 0.000 Min. : 0.144 Length:45728 Min. : 0.128
1st Qu.: 57348 1st Qu.:1.0000 1st Qu.: 0.923 1st Qu.: 5.309 Class :character 1st Qu.: 3.475
Median :113469 Median :1.0000 Median : 1.476 Median : 7.031 Mode :character Median : 4.205
Mean :113929 Mean :0.7612 Mean : 1.642 Mean : 7.480 Mean : 4.141
3rd Qu.:170713 3rd Qu.:1.0000 3rd Qu.: 2.143 3rd Qu.: 9.479 3rd Qu.: 4.841
Max. :228712 Max. :1.0000 Max. :13.214 Max. :20.000 Max. :11.832
NA's :19847 NA's :19834 NA's :19834
v5 v6 v7 v8
Min. : 0.182 Min. : 0.000 Min. :0.000 Min. : 0.000
1st Qu.: 7.613 1st Qu.: 2.061 1st Qu.:2.102 1st Qu.: 0.086
Median : 8.674 Median : 2.410 Median :2.453 Median : 0.389
Mean : 8.741 Mean : 2.432 Mean :2.486 Mean : 1.498
3rd Qu.: 9.769 3rd Qu.: 2.772 3rd Qu.:2.838 3rd Qu.: 1.633
Max. :20.000 Max. :20.000 Max. :8.889 Max. :20.000
NA's :19374 NA's :19847 NA's :19847 NA's :19373 Vraag 1: Wat doen de functies head(), str() en summary()?
Vraag 2: Hoeveel lege waarden bevat de kolom met de variabele v2?
dim() toe op de dataset. Hoeveel dataregels bevat de dataset? En hoeveel kolommen?
De volgende data komt uit een Driven Data competitie. Deelnemers worden uitgedaagd door Taarifa en het Tanzaniaanse Ministerie voor Water om een model te genereren waarmee voorspeld kan worden welke waterpompen in het land een defect gaan vertonen, zodat ze kunnen worden onderhouden voordat ze daadwerkelijk uitvallen (predictive maintenance).
secDF <- read_csv("https://raw.githubusercontent.com/hanbedrijfskunde/im/master/workshops/bigdata/drivendata.csv")
head(secDF)Vraag 1: Beoordeel de kwaliteit van de data.
We kunnen de kwaliteit van de data verder verkennen door deze te visualiseren. R biedt verschillende mogelijkheden:
- eenvoudige grafieken
colors <- c("skyblue", "orange", "tomato")
p <- ggplot(secDF) +
geom_bar(aes(x = region, fill = status_group)) +
scale_fill_manual(values = colors) +
coord_flip()
p
- grafieken met interactie:
ggplotly(p, width = 900)- geographische weergave met interactie (klik op een cirkel voor meer informatie per waterpunt)
selDF <- secDF[1:100,]
pal <- colorFactor(colors, domain = c("functional", "functional needs repair", "non functional"))
leaflet(selDF) %>%
addTiles() %>%
setView(lng = mean(selDF$longitude), lat = mean(selDF$latitude), zoom = 6) %>%
addCircleMarkers(~longitude, ~ latitude, popup = ~wpt_name, color = ~pal(status_group))- en nog veel meer.
